Sinh ra ở Bắc Ninh, sau khi đậu thủ khoa kỳ thi tú tài năm 1954 toàn vùng Hà Nội, ông học đại học Sài Gòn (1955 - 1956), rồi được học bổng của chính phủ Pháp sang Paris du học năm 1956.[1]Ông lấy bằng tiến sĩ quốc gia đại học Paris, là nguyên Giám đốc nghiên cứu thuộc Trung tâm Quốc gia Nghiên cứu Khoa học (ngành Vật lý lý thuyết), tòng sự ở đại học Pierre & Marie Curie, Paris.

Ông cũng đã được biệt phái sang đại học Stanford (Mỹ, 1974 - 1975) và CERN (Centre Européen de Recherche Nucléaire, Thụy Sĩ, 1982 - 1983).

GS. Phạm Xuân Yêm đã đứng ra đảm nhiệm việc quản trị trang Bauxite Việt Nam thay cho GS. Nguyễn Huệ Chi, khi ông Chi rút khỏi vị trí quản trị trực tiếp trang này vào ngày 05/9/2013.[2]